iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 2 留言 1373 瀏覽

技術 NLP (自然語言處理)攻略 - Intent Classification

任務簡介意圖分析, 表示 ⇒ 輸入文字敘述, 要分類文字屬於何種意圖 sample: "i dont like my current insuran...

leon123858 ‧ 2023-02-13

0 Like 0 留言 1278 瀏覽

鐵人賽 AI & Data DAY 30

文理組人都能上手的入門 NLP（自然語言處理）系列第 31 篇

技術 [Day 30] NLP專案實作分享 & 完賽心得

大家午安～終於來到鐵人賽最後一天了。今天要講點輕鬆的東西，跟各位分享一下我自己的NLP專案實作過程。也就是說這有很大的機率跟業界在做的事情不一樣，因為身為研...

fish_in_bed ‧ 2022-10-15 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1288 瀏覽

鐵人賽 AI & Data DAY 29

文理組人都能上手的入門 NLP（自然語言處理）系列第 30 篇

技術 [Day 29] 深度學習模型：會忘記東西的才叫人吧－長短期記憶（LSTM）

大家午安～昨天講解RNN的時候提到RNN的缺點就是容易產生梯度消失或梯度爆炸的問題，所以今天要介紹為了解決這兩個問題而產生的RNN變體－長短期記憶（Long...

fish_in_bed ‧ 2022-10-14 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 644 瀏覽

鐵人賽 AI & Data DAY 28

文理組人都能上手的入門 NLP（自然語言處理）系列第 29 篇

技術 [Day 28] 深度學習模型：該長點記性了吧－循環神經網路（RNN）

大家晚安～今天要繼續講解深度學習在NLP領域的應用。開始之前讓我們先再次呼喚最default的神經網路模型出來：這是最經典簡單的深度神經網路模型，我...

fish_in_bed ‧ 2022-10-13 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1501 瀏覽

鐵人賽 AI & Data DAY 27

文理組人都能上手的入門 NLP（自然語言處理）系列第 28 篇

技術 [Day 27] 深度學習模型：文字向量的減肥之路－word2vec

經歷昨天對神經網路跟深度學習的講解，不知道大家還好嗎？今天要順著上一篇的內容來講講深度學習可以怎麼應用在NLP上面。當初在介紹詞袋模型的時候，我們提到...

fish_in_bed ‧ 2022-10-12 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1798 瀏覽

鐵人賽 AI & Data DAY 26

文理組人都能上手的入門 NLP（自然語言處理）系列第 27 篇

技術 [Day 26] 漩渦鳴人與影分身之術－神經網路（Neural Network）與深度學習（Deep Learning）

大家午安～本系列文章終於進入最後五天，我們也終於要開始認識現在最流行的機器學習方式－深度學習了。本來是計畫可以連實作一起分享的，但光是概念理解就已經夠要命了...

fish_in_bed ‧ 2022-10-11 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1368 瀏覽

鐵人賽 AI & Data DAY 25

文理組人都能上手的入門 NLP（自然語言處理）系列第 26 篇

技術 [Day 25] 監督式機器學習模型：踏出環保第一步－實作決策樹（Decision Tree）與隨機森林（Random Forest）

午安各位！昨天介紹過決策樹跟隨機森林的原理之後，今天我們要來實做這兩個模型。因為昨天有提到這兩種模型可以做不只兩種類別的分類，所以今天我們就跟上次一樣用，用...

fish_in_bed ‧ 2022-10-10 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1596 瀏覽

鐵人賽 AI & Data DAY 24

文理組人都能上手的入門 NLP（自然語言處理）系列第 25 篇

技術 [Day 24] 監督式機器學習模型：不需要100分也可以騎上獨角獸－決策樹（Decision Tree）與隨機森林（Random Forest）

大家午安～今天要跟大家介紹這個系列的最後兩種監督是機器學習模型－決策樹（Decision Tree）跟隨機森林（Random Forest）。不知道大家還記...

fish_in_bed ‧ 2022-10-09 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 4550 瀏覽

鐵人賽 AI & Data DAY 23

文理組人都能上手的入門 NLP（自然語言處理）系列第 24 篇

技術 [Day 23] 機器學習好朋友：驚不驚喜？意不意外？－資訊熵（Entropy）與NLP

大家午安～講了那麼多天模型訓練，想必大家應該都有點膩了吧？今天就來點不一樣的（其實是為了明天鋪路）。在之前的文章裡面，我們提到很多計算詞頻的方法跟變體，但是...

fish_in_bed ‧ 2022-10-08 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 4141 瀏覽

鐵人賽 AI & Data DAY 22

文理組人都能上手的入門 NLP（自然語言處理）系列第 23 篇

技術 [Day 22] 機器學習好朋友：到底誰是模型的真朋友？－特徵重要性（Feature Importance）

大家早安，昨天示範了國民好兄弟SVM實作跟比較進階的文本情感分析方式。但是做出來的時候結果不是很好，所以我在文章結束的時候留了一個懸念（其實就是我太懶而已）...

fish_in_bed ‧ 2022-10-07 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 3674 瀏覽

鐵人賽 AI & Data DAY 21

文理組人都能上手的入門 NLP（自然語言處理）系列第 22 篇

技術 [Day 21] 監督式機器學習模型：掌握賺大錢的關鍵－實作SVM & 文本情感分析（Sentiment Analysis）

午安各位～昨天講解完支持向量機（Support Vector Machine）的原理之後，今天要用推特上面對不同產品的評價來進行文本情感分析。會需要做這件事...

fish_in_bed ‧ 2022-10-06 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1058 瀏覽

鐵人賽 AI & Data DAY 20

文理組人都能上手的入門 NLP（自然語言處理）系列第 21 篇

技術 [Day 20] 監督式機器學習模型：找那個逃跑空間最大的地方龜就對了！－支持向量機（Support Vector Machine）

大家早安！歷經了四天針對經典監督式機器學習模型的了解，我們也算是小～小～的踏進NLP世界裡了。如果把這比喻成FPS（第一人稱射擊遊戲）的話，大概就是開局撿完...

fish_in_bed ‧ 2022-10-05 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 911 瀏覽

鐵人賽 AI & Data DAY 19

文理組人都能上手的入門 NLP（自然語言處理）系列第 20 篇

技術 [Day 19] 監督式機器學習模型：誰芭比Q了嗎？－實作羅吉斯迴歸（Logistic Regression） & TF-IDF

大家午安，昨天介紹過羅吉斯迴歸的原理之後，今天要帶大家實作羅吉斯迴歸的模型，任務是要偵測推特上的貼文是否有憂鬱傾向。在NLP的領域裡面，我們把這種分析文本情...

fish_in_bed ‧ 2022-10-04 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1131 瀏覽

鐵人賽 AI & Data DAY 18

文理組人都能上手的入門 NLP（自然語言處理）系列第 19 篇

技術 [Day 18] 監督式機器學習模型：身世之謎與自我追尋－羅吉斯迴歸（Logistic Regression）

大家早安，今天要帶大家認識第二個監督式機器學習的經典模型－羅吉斯迴歸（Logistic Regression）。雖然羅吉斯迴歸叫做羅吉斯迴歸，但他其實不是迴...

fish_in_bed ‧ 2022-10-03 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1282 瀏覽

鐵人賽 AI & Data DAY 17

文理組人都能上手的入門 NLP（自然語言處理）系列第 18 篇

技術 [Day 17] 監督式機器學習模型：傻白甜女主與她的包包－實作單純貝式分類器（Naive Bayes）與詞袋模型（Bag of Words）

午安～昨天介紹了貝式分類器的原理之後，今天就要在python裡面實際操作一次看看，也順便把之前還沒講解怎麼實作的詞袋模型當成特徵一起示範。事不宜遲我們馬上開...

fish_in_bed ‧ 2022-10-02 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 920 瀏覽

鐵人賽 AI & Data DAY 16

文理組人都能上手的入門 NLP（自然語言處理）系列第 17 篇

技術 [Day 16] 監督式機器學習模型：他是騙砲仔還是你的真愛？－單純貝式分類器（Naive Bayes）

哈囉大家，今天終於要正式進入模型訓練的階段了，真是可喜可賀，可喜可賀。雖然現在各種fancy的深度學習模型都非常強大，也能達到比機器學習還要好很多的成效，但...

fish_in_bed ‧ 2022-10-01 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1484 瀏覽

鐵人賽 AI & Data DAY 15

文理組人都能上手的入門 NLP（自然語言處理）系列第 16 篇

技術 [Day 15] 機器學習常用特徵：詞頻的皇親國戚－N-Gram & TF-IDF

哈囉～雖然資料前處理的階段已經結束了，產出今天要介紹的各位皇親國戚應該還算是在前處理的範圍內，畢竟特徵萃取不太能算在模型訓練的一環，好吧反正他們就是地位尷尬...

fish_in_bed ‧ 2022-09-30 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1033 瀏覽

鐵人賽 AI & Data DAY 14

文理組人都能上手的入門 NLP（自然語言處理）系列第 15 篇

技術 [Day 14] 機器學習常用特徵：超級變變變－BOW 詞袋模型

諸位早安，我們終於結束漫長的資料前處理教學了。之前在講前處理的過程中，我一直提到電腦很笨，只認得數字的事情，大家應該還記得吧。問題來了，我們到底要怎麼把文字...

fish_in_bed ‧ 2022-09-29 ‧團隊KnULPers_from_NCCU

1 Like 0 留言 3546 瀏覽

鐵人賽 AI & Data DAY 13

文理組人都能上手的入門 NLP（自然語言處理）系列第 14 篇

技術 [Day 13] 資料視覺化實作：把斷詞結果變成比文字雲更酷炫的文字狗跟文字小新

早安各位，今天是還債日。之前在講斷詞斷句的時候有提到要出一個文字雲教學，但是因為時間安排的關係就被移到今天了。廢話不多說，大家應該都看過文字雲吧？就是下面那...

fish_in_bed ‧ 2022-09-28 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 943 瀏覽

鐵人賽 AI & Data DAY 12

文理組人都能上手的入門 NLP（自然語言處理）系列第 13 篇

技術 [Day 12] 時間都去哪了？資料前處理：抓住那個欠錢不還的傢伙－詞性標註之HMM的應用

早安大家，昨天講解了詞性標註在NLP領域的重要性跟怎麼實作之後，今天要介紹詞性標註背後的隱藏式馬可夫模型（HMM）到底是運用什麼原理在運算。應該會是這個系列...

fish_in_bed ‧ 2022-09-27 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 989 瀏覽

鐵人賽 AI & Data DAY 11

文理組人都能上手的入門 NLP（自然語言處理）系列第 12 篇

技術 [Day 11] 時間都去哪了？資料前處理：聽懂進階人話的關鍵－詞性標註

大家早安，不知知覺竟然已經完成鐵人賽的三分之一，真的是太快了。快到我的存稿都沒了從今天開始大概率每天都是最新鮮的文章了XDD 希望我可以順利完成。回到...

fish_in_bed ‧ 2022-09-26 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 2254 瀏覽

鐵人賽 AI & Data DAY 10

文理組人都能上手的入門 NLP（自然語言處理）系列第 11 篇

技術 [Day 10] 時間都去哪了？資料前處理：成為聽懂人話的社畜之第一步－斷詞斷句（中）

嗨大家！昨天簡單介紹了斷詞對NLP的重要性，也示範了怎麼用NLTK對英文文本進行段詞跟統整。雖然NLTK提供多種不同語言的服務，當中也包含中文，但它終究是以...

fish_in_bed ‧ 2022-09-25 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1939 瀏覽

鐵人賽 AI & Data DAY 9

文理組人都能上手的入門 NLP（自然語言處理）系列第 10 篇

技術 [Day 9] 時間都去哪了？資料前處理：成為聽懂人話的社畜之第一步－斷詞斷句（英）

嗨大家！為了呼應今天的標題，讓我請出國小課本裡面被用來強調標點符號重要性的短句來問候各位。下雨天留客天留我不留請試著在這個短句裡面加上標點符號或...

fish_in_bed ‧ 2022-09-24 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 523 瀏覽

鐵人賽 AI & Data DAY 9

文理組人都能上手的入門 NLP（自然語言處理）系列第 9 篇

技術 [Day 8.5] 時間都去哪了？資料前處理：客製化你的專屬函式－function

一個大糟糕，突然發現排schedule的時候沒有排到要教function怎麼用。但是這個東西又非常之方便，不講一下真的不行，所以只好來個第8.5天幫自己加班...

fish_in_bed ‧ 2022-09-24 ‧團隊KnULPers_from_NCCU

1 Like 0 留言 1305 瀏覽

鐵人賽 AI & Data DAY 8

文理組人都能上手的入門 NLP（自然語言處理）系列第 8 篇

技術 [Day 8] 時間都去哪了？資料前處理：當一個有原則有效率的快樂打工人－if & loop

嗨各位！昨天跟大家介紹了正規表達式的使用方法，還是老話一句，多練習就會自然而然熟悉跟內化。學會用正規表達是可以幫我們省去很多時間，所以一起成為努力型人才吧～...

fish_in_bed ‧ 2022-09-23 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1829 瀏覽

鐵人賽 AI & Data DAY 7

文理組人都能上手的入門 NLP（自然語言處理）系列第 7 篇

技術 [Day 7] 時間都去哪了？資料前處理：合格社畜的工作方式－正規表達式（Regular Expression）

嗨大家！今天的開頭是問答遊戲！請問在機器學習運作的流程中，通常哪一個階段最耗時間呢？ (A) 資料前處理(B) 機器訓練(C) 參數調整(D) 結果評估...

fish_in_bed ‧ 2022-09-22 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1273 瀏覽

鐵人賽 AI & Data DAY 6

文理組人都能上手的入門 NLP（自然語言處理）系列第 6 篇

技術 [Day 6] 電腦選的花生到底好不好？機器學習的成效評估

嗨！昨天簡單介紹過機器學習之後，今天就來跟大家分享評估成效幾個比較常見的計算方法。不知道大家以前有沒有看過牛奶花生的廣告，就是那個用電腦選花生的廣告。...

fish_in_bed ‧ 2022-09-21 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1064 瀏覽

鐵人賽 AI & Data DAY 5

文理組人都能上手的入門 NLP（自然語言處理）系列第 5 篇

技術 [Day 5] NLP與機器學習（Machine Learning）

嗨大家！經過幾天這系列文章第一天提到過NLP的目標就是要讓電腦可以像人一樣理解並處理語言，而想做到這樣的事情就需要語言學的規則來幫忙。這其實是NLP領域最開...

fish_in_bed ‧ 2022-09-20 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 1229 瀏覽

鐵人賽 AI & Data DAY 4

文理組人都能上手的入門 NLP（自然語言處理）系列第 4 篇

技術 [Day 4] NLP好朋友：Python的打開方式–套件安裝、引入&pandas

嗨大家（如果有人在看的話）～前兩天介紹了一些python資料處理的基本用法，介紹的都是python內建的函式，但其實python的價值絕對不止於這些內建的東...

fish_in_bed ‧ 2022-09-19 ‧團隊KnULPers_from_NCCU

0 Like 0 留言 3801 瀏覽

鐵人賽 AI & Data DAY 3

文理組人都能上手的入門 NLP（自然語言處理）系列第 3 篇

技術 [Day 3] NLP好朋友：Python的打開方式–字串處理

昨天簡單介紹過python裡面的資料型態以後，今天會針對NLP必備的字串處理進行介紹。 1️⃣字串處理單雙引號區別昨天提到在宣告一個變數是字串的時候...

fish_in_bed ‧ 2022-09-18 ‧團隊KnULPers_from_NCCU